西電電子所陳渤團隊論文被機器學習頂會ICML2020錄用
第37屆國際機器學習大會(International Conference on Machine Learning,https://icml.cc/)將于2020年07月13日—07月18日，通過線上舉行。該會議作為機器學習人工智能領域的兩大頂級盛會之一，代表著熱門科研領域的最前沿，具有廣泛而深遠的國際影響力。作為機器學習領域國際頂級會議，ICML對論文質量有較高要求，本屆ICML會議錄用論文1080篇，錄用率僅為21.80%，因此在該會議發表論文表達了對作者工作的高度肯定。
今年，國內有來自清華、北大、上海交大、中科大、浙大和南大等高校的工作被錄用，但僅是美國的1/6，也部分說明了我國在機器學習領域確實還有較大空間需要提升。由我校雷達信號處理國家級重點實驗室陳渤教授指導的博士生郭丹丹、魯瑞穎的工作，《Recurrent Hierarchical Topic-Guided RNN for Language Generation》，也被今年ICML錄用。該論文屬于自然語言處理領域。語言模型是各種自然語言處理任務的關鍵組成部分，其主要目的是捕獲單詞序列的分布，但它們通常忽略了文檔中句子的順序和文檔上下文。在語言建模中，如何尋找更好的方法，既能捕捉單詞之間的順序，又能捕捉全局語義信息是比較有挑戰的問題。不同于語言模型，主題模型是用來在一系列文檔中發現抽象主題的一種統計模型。主題模型可以提取具有全局語義的隱表示，但是它們通常將每個文檔視為一袋單詞(BoW)，忽略了單詞之間的順序。
因此針對上述討論的語言模型的問題，以及主題模型和語言模型各自的優勢，本次研究提出使用深層時序主題模型來指導語言模型進行建模（rGBN-RNN）。如圖1(a)所示，所提模型由兩個關鍵部分組成:(1)一個層次遞歸主題模型（rGBN）；(2)一個基于多層RNN的語言模型（RNN）。主題模型用于捕獲跨文檔的全局語義和文檔中句子間的長期依賴關系，而語言模型用于學習句子中單詞之間的局部語法關系。
因此針對上述討論的語言模型的問題，以及主題模型和語言模型各自的優勢，本次研究提出使用深層時序主題模型來指導語言模型進行建模（rGBN-RNN）。如圖1(a)所示，所提模型由兩個關鍵部分組成:(1)一個層次遞歸主題模型（rGBN）；(2)一個基于多層RNN的語言模型（RNN）。主題模型用于捕獲跨文檔的全局語義和文檔中句子間的長期依賴關系，而語言模型用于學習句子中單詞之間的局部語法關系。
圖1（a）rGBN-RNN生成模型
（b）RNN語言模型
（c)rGBN-RNN模型的總體結構，由解碼器(rGB和語言模型)和編碼器(變分時序推理)兩部分構成，紅色箭頭表示主題權向量的推理，黑色箭頭表示數據生成。
（b）RNN語言模型
（c)rGBN-RNN模型的總體結構，由解碼器(rGB和語言模型)和編碼器(變分時序推理)兩部分構成，紅色箭頭表示主題權向量的推理，黑色箭頭表示數據生成。
如圖1(b)所示，所提模型將層次時序的主題權重向量作為額外輸入集成到語言模型中。因此不同于傳統的基于RNN的語言模型，所提出的模型不僅捕獲句子內的單詞依賴關系，而且捕獲句子之間的相關性，同時利用主題模型考慮了文本的全局語義信息。為了進行推理，本次工作提出了隨機梯度馬爾科夫鏈蒙特卡洛和遞歸變分自編碼的混合算法。圖1(c)展示了rGBN-RNN的整個框架，包含了生成模型（編碼器）和推理模型（解碼器）。如圖2所示，我們利用新聞數據訓練三層rGBN-RNN，并將學習到的層次主題以及這些主題指導生成的句子進行了可視化。一方面，rGBN-RNN能夠捕捉到不同層次主題之間可解釋的層次關系，以及同一層次主題之間的時間關系（如圖中彩色實線框所示）。另一方面，如圖中虛線框所示，依據一個或者多個主題生成的句子大部分與相應主題高度相關。這種相關不一定在關鍵字的相似，更多是語義內容的接近，表明層次時序的主題能夠成功地引導語言模型。這些觀察結果表明，rGBN-RNN能夠成功地捕獲自然語言生成所需要的語法和全局語義信息。此外，模型還能生成語法正確、語義連貫的句子和段落。
圖1（三層rGBN-RNN基于APNEWS（新聞）數據集推斷出的主題，以及在主題指導下生成的句子。由上至下，第3層、第2層、第1層主題分別用橙色、黃色和藍色實線框表示，生成的句子用虛線框表示，虛線框中標注了生成句子所用的主題索引號。圖的底部是由不同層次的主題組合生成的句子。
通過近五年的努力，陳渤教授團隊基于概率框架已構建了一套完整的概率統計深度模型家族，分別是概率深度全連接生成模型（NIPS2015、ICML2017、JMLR2016）、概率深度全連接自編碼模型（ICLR2018、TPAMI2020）、概率深度卷積網絡（ICML2019）、概率深度多模態模型（ICLR2020）、概率深度動態網絡（NIPS2018、ICML2020）。這一系列工作為概率模型與傳統深度網絡的結合提供了關鍵技術支撐，并結合現實問題在實際應用中獲得了突破。
此次工作的錄用，意味著國際學術界對學校研究成果的認可。通過這篇文章，一方面，我們可以向國際同行展示西安電子科技大學雷達信號處理國家重點實驗室師生在機器學習人工智能領域的研究能力和成果，擴大學校的學術影響力，另一方面還能促進實驗室與該領域頂尖學者的交流以及對該領域最新研究進展的了解。
論文工作詳情請參考陳渤教授主頁：http://web.xidian.edu.cn/bchen/。此次工作的錄用，意味著國際學術界對學校研究成果的認可。通過這篇文章，一方面，我們可以向國際同行展示西安電子科技大學雷達信號處理國家重點實驗室師生在機器學習人工智能領域的研究能力和成果，擴大學校的學術影響力，另一方面還能促進實驗室與該領域頂尖學者的交流以及對該領域最新研究進展的了解。
